Una ciudad abre una nueva línea de metro, y un año después los precios de las viviendas a lo largo de la línea han subido. ¿Lo hizo el metro? Quizá. O quizá la ciudad trazó la línea donde ya esperaba que la zona creciera. O una universidad nueva abrió cerca el mismo año. Todo titular que dice "X está vinculado con Y" esconde esta pregunta, y casi siempre el titular no puede responderla.
Un economista ve el mismo patrón en una ley de salario mínimo, en el tamaño de los grupos escolares, en un cambio de impuestos, en un ensayo clínico. Los datos muestran un vínculo. El trabajo es decir cuál habría sido el vínculo si no hubiera pasado nada más. Eso es la econometría: estadística hecha para preguntas en las que casi nunca puedes correr el experimento, y en las que las personas de tus datos eligieron sus propias circunstancias.
Toma a doce estudiantes: las horas que estudió cada uno y la nota que sacó. Si los marcas en un gráfico, los puntos suben en general. Una regresión traza la recta que queda más cerca de todos los puntos. "Más cerca" tiene un significado preciso: para cada punto se mide la distancia vertical hasta la recta (el residuo), se eleva al cuadrado y se suman los cuadrados. La recta con la menor suma es la de mínimos cuadrados ordinarios (MCO). Elevar al cuadrado hace que un error grande cuente mucho más que varios pequeños; la figura muestra cada error al cuadrado como un cuadrado de verdad.
Doce estudiantes inventados. La mejor recta se halla resolviendo las ecuaciones de mínimos cuadrados; ninguna otra recta tiene una suma menor de errores al cuadrado.
La mejor recta aquí es aproximadamente 47 + 3.5 × horas (el recuadro da el valor exacto). El coeficiente b dice: los estudiantes que estudiaron una hora más sacaron cerca de 3.5 puntos más. Fíjate en lo que esa frase no dice. Compara a estudiantes distintos. No dice que obligar a una estudiante a estudiar una hora extra le subiría la nota 3.5. Esa brecha, entre una comparación y una causa, es el resto del curso.
Supón que haces una regresión de los salarios sobre los años de escolaridad en una encuesta grande y encuentras que cada año extra va acompañado de mejor paga. ¿Es eso lo que la escuela hace? Las personas con más empuje o talento pueden tanto quedarse más tiempo en la escuela como ganar más de todos modos. Si es así, el coeficiente de la escolaridad también está absorbiendo el efecto del talento. Es el sesgo de variable omitida, y tiene una regla ordenada:
En el laboratorio de abajo, el efecto verdadero de un año más de escuela es exactamente 3 (miles de dólares). El talento también sube el pago, y un dial fija qué tanto empuja el talento a la gente hacia más escuela. Cambia el modelo entre ignorar el talento e incluirlo.
Efecto verdadero de la escolaridad = 3.0; el talento suma 8 por desviación estándar. Salario = 10 + 3·escuela + 8·talento + ruido. "Aleatorizar" significa que un proceso parecido a lanzar una moneda asigna la escolaridad sin importar el talento.
Sin JavaScript: con el talento empujando la escolaridad con fuerza 1.2, ignorar el talento da un coeficiente de la escolaridad cercano a 4.7 en lugar del 3.0 verdadero; controlar por el talento recupera cerca de 3.0; aleatorizar la escolaridad también recupera cerca de 3.0.
Ignorar el talento con fuerza 1.2 da cerca de 4.7, más de la mitad por encima. Controla por el talento y baja a cerca de 3. El costo de este arreglo: tienes que medir el confusor. La mayoría de los confusores reales (motivación, contactos familiares, qué tan bien dirigida está la empresa) no aparecen en ningún conjunto de datos. Por eso los economistas pasaron décadas discutiendo qué podían demostrar las regresiones.
Pulsa el tercer botón. Cuando la escolaridad se asigna con un proceso sin relación con el talento, se rompe el vínculo entre ambos, y hasta la regresión ingenua que ignora el talento cae en 3. Una moneda es independiente de todo: motivación, familia, suerte, cosas que nadie pensó en medir. Por eso un experimento aleatorizado es el estándar de oro, y por eso el premio Nobel de Economía de 2019 fue para Abhijit Banerjee, Esther Duflo y Michael Kremer por sus enfoques experimentales para reducir la pobreza.
Un caso famoso de la región: Progresa, en México. Se lanzó en 1997 (el programa se llamó Oportunidades desde 2002) y da dinero a familias pobres a cambio de que sus hijos vayan a la escuela y a la clínica. Como el presupuesto no alcanzaba para llegar a todas las comunidades a la vez, de 506 localidades elegibles se asignó por sorteo que 186 esperaran como grupo de control, y los evaluadores (el IFPRI, de 1997 a 2000) compararon a unas y otras. Entre los resultados, el programa aumentó de manera significativa la matrícula de niños y de niñas, sobre todo la de las niñas y sobre todo en secundaria. El diseño es citado como una de las primeras evaluaciones aleatorizadas de gran escala de un programa social en un país en desarrollo, y ayudó a que gobiernos de todo el mundo tomaran en serio ese método. Nota lo que el diseño hace: nadie tiene que medir el "empuje" de las familias, porque el sorteo se encarga de que las dos listas se parezcan.
Otro ejemplo, de Colombia: un programa dio vales para pagar parte de la secundaria privada a estudiantes de bajos ingresos. Como había más solicitantes que vales, se sortearon. Tres años después de la lotería, los ganadores tenían 15 puntos porcentuales más de probabilidad de haber asistido a una escuela privada, alrededor de 10 puntos más de haber terminado 8.º grado (sobre todo porque repitieron menos) y puntajes cerca de 0.2 desviaciones estándar más altos en las pruebas (Angrist, Bettinger, Bloom, King y Kremer, American Economic Review, 2002, según el resumen del laboratorio J-PAL). Una lotería es una moneda que ya estaba en la política.
Pero los economistas rara vez pueden lanzar la moneda: no se puede asignar al azar los años de escolaridad, una recesión ni un salario mínimo. Las tres ideas siguientes son maneras de encontrar una moneda que la naturaleza o una regla ya lanzó. Juntas se llaman la revolución de la credibilidad, una expresión del ensayo de 2010 de Joshua Angrist y Jörn-Steffen Pischke, en respuesta a la queja de Edward Leamer de 1983 de que la econometría necesitaba "sacarse el engaño" de encima.
En 1992 Nueva Jersey subió su salario mínimo y la vecina Pensilvania no. David Card y Alan Krueger encuestaron restaurantes de comida rápida de ambos estados antes y después (American Economic Review, 1994). Mirar solo Nueva Jersey antes y después habría confundido la ley con cualquier otra cosa que cambiara ese año. En cambio usaron Pensilvania como sustituto de "lo que habría pasado de todos modos". Su hallazgo, que el empleo no cayó en Nueva Jersey, contradecía la predicción de los libros de texto de entonces. Desde entonces se ha discutido: Neumark y Wascher lo reanalizaron con registros de nómina y encontraron pérdidas de empleo, y la lectura global del campo sigue en disputa. El diseño no está en disputa. Card compartió el premio Nobel de 2021 en parte por él.
El grupo tratado empieza en 20 y el de comparación en 24 (unidades inventadas). Línea punteada: adónde habría ido el grupo tratado sin la política, si hubiera seguido la tendencia del de comparación.
Con una tendencia común de +1.5 y ningún efecto verdadero, el grupo tratado igual sube 1.5, de modo que un "antes y después" ingenuo anunciaría un éxito de la política. La diferencia en diferencias dice, correctamente, cero. El punto débil del diseño es el tercer deslizador: supone que los dos grupos se habrían movido en paralelo sin la política. Si el grupo tratado ya iba por otra senda, la estimación se equivoca exactamente por esa brecha. Los buenos artículos muestran las dos líneas siguiéndose durante años antes de la política.
Una variable instrumental es algo que empuja aquello que te interesa pero no tiene otro camino hacia el resultado. Angrist (1990) estudió si el servicio militar en la época de Vietnam cambió los ingresos posteriores. Los hombres que eligieron servir son distintos de los que no, así que una comparación simple está confundida. Pero la lotería del reclutamiento asignó números por fecha de nacimiento al azar, y un número bajo hacía mucho más probable el servicio. El número de la lotería es una moneda que empuja a la gente a ponerse el uniforme. Su efecto sobre los ingresos, dividido entre su efecto sobre el servicio, aísla el efecto de servir para las personas que sirvieron por causa de la lotería. Su estudio encontró que el servicio redujo los ingresos de los veteranos afectados.
Un número de ejemplo, inventado para mostrar la aritmética: supón que 35% de los hombres con número bajo sirvieron y 20% de los de número alto, una primera etapa de 0.15; y que los de número bajo ganaron $300 menos al año en promedio. Entonces el efecto estimado de servir es −300 ÷ 0.15 = −$2,000 al año. Dividir entre una primera etapa pequeña agranda el ruido, y por eso los instrumentos débiles son peligrosos.
Una regresión discontinua usa un punto de corte. Las clases de las escuelas israelíes se limitan a 40 alumnos por una regla atribuida al sabio del siglo XII Maimónides, de modo que una escuela con 40 alumnos tiene un grupo y una con 41 se divide en dos grupos pequeños de unos 20. Angrist y Lavy (1999) compararon escuelas justo a uno y otro lado de esos umbrales, donde la matrícula es casi como lanzar una moneda, para estimar qué hace el tamaño del grupo sobre los puntajes. Mueve la ventana de abajo: las ventanas angostas son más justas pero más ruidosas.
400 estudiantes inventados; quienes sacan 60 o más reciben un programa de apoyo. El resultado sube 0.3 por punto de puntaje de todos modos, así que comparar a todos los de arriba con todos los de abajo exagera el salto.
Toda estimación sale de una muestra, y otra muestra habría dado otro número. El error estándar es el tamaño típico de esa oscilación. Para la pendiente de una regresión se reduce con la raíz cuadrada del tamaño de la muestra, crece con el ruido alrededor de la recta y se reduce cuando x varía mucho:
La regla práctica: una estimación a más de unos dos errores estándar de cero se llama estadísticamente significativa al nivel de 5%. Significativa quiere decir "difícil de producir solo por la oscilación de la muestra si el efecto verdadero fuera cero". No quiere decir grande ni importante, y no quiere decir verdadera. Corre 300 estudios de un efecto real pero modesto y mira quiénes se llevan las estrellas.
Con n = 50 y una pendiente verdadera de 0.3, un poco más de la mitad de los estudios alcanza la significancia, y esos promedian cerca de 0.40, un tercio por encima de la verdad, porque solo las sobreestimaciones afortunadas pasan la barra. Baja a n = 10 y una pendiente verdadera de 0.05, y las pocas estrellas (cerca de 8%) promedian alrededor de 0.7, catorce veces demasiado. Los resultados publicados son sobre todo los significativos, así que exageran. Esa es una razón por la que las replicaciones más recientes encuentran con tanta frecuencia efectos menores.
Una prueba al nivel de 5% se equivoca por azar 1 vez de cada 20 cuando no pasa nada. Prueba 20 resultados sin relación y la probabilidad de que al menos uno se ilumine es 1 − 0.9520 = 64%. Un investigador que prueba varios resultados, subgrupos o conjuntos de controles y reporta el que "funcionó" hace p-hacking, a propósito o solo por vagar por un jardín de senderos que se bifurcan. Simmons, Nelson y Simonsohn (2011) mostraron lo fácil que es: con decisiones flexibles de apariencia ordinaria "encontraron" que escuchar una canción sobre ser mayor hacía a los estudiantes casi año y medio más jóvenes. Los economistas no son inmunes: Brodeur y coautores (2016) encontraron una acumulación antinatural de resultados justo por debajo de la línea de 0.05 en las revistas principales de economía.
Cada resultado compara dos grupos de 50 sacados de la misma distribución, así que todo "efecto" es ruido. Una celda se ilumina cuando |t| pasa el corte de 5% (1.98).
Defensas: decidir el análisis antes de ver los datos (preregistro), reportar todas las pruebas que corriste, ajustar el umbral cuando corres muchas y, sobre todo, preferir diseños, como los de arriba, en los que la respuesta no depende de qué controles elegiste.
Una regresión te da una comparación, y una comparación solo es una causa si nada más difiere entre los grupos. La econometría es una caja de herramientas para lograr que eso sea cierto o casi cierto (aleatorizar, restar una tendencia, usar una lotería, acercarse a un corte), más la humildad de reportar cuánto oscilaría tu número y de cuántas maneras lo intentaste.
Prueba esto: la próxima vez que un titular diga "X está vinculado con Y", nombra un confusor que podría mover a los dos y pregunta qué moneda, frontera o corte podría separarlos.
Fuentes. Los mínimos cuadrados, el sesgo de variable omitida, los errores estándar y el estimador de Wald son material estándar de libro de texto (Stock y Watson; Wooldridge; Angrist y Pischke). Card y Krueger, "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania", American Economic Review 84(4), 1994; el premio Nobel de Economía 2021 fue para David Card (la mitad) y Joshua Angrist y Guido Imbens (la otra mitad, "por sus contribuciones metodológicas al análisis de las relaciones causales"). Angrist, "Lifetime Earnings and the Vietnam Era Draft Lottery", 1990; Angrist y Lavy, "Using Maimonides' Rule to Estimate the Effect of Class Size on Scholastic Achievement", 1999; la regresión discontinua fue introducida por Thistlethwaite y Campbell en 1960. Angrist y Pischke, "The Credibility Revolution in Empirical Economics", Journal of Economic Perspectives 2010; Leamer, "Let's Take the Con out of Econometrics", 1983. Simmons, Nelson y Simonsohn, "False-Positive Psychology", 2011; Brodeur, Lé, Sangnier y Zylberberg, "Star Wars: The Empirics Strike Back", 2016. El Nobel de Economía de 2019 fue para Banerjee, Duflo y Kremer. Progresa: 506 localidades elegibles, 186 asignadas al azar como control (J-PAL, resumen de la evaluación); evaluación del IFPRI de 1997 a 2000 y cambio de nombre de Progresa (1997) a Oportunidades (2002) (Wikipedia, "Oportunidades"); efectos sobre la matrícula, sobre todo de niñas en secundaria (resumen de J-PAL; Schultz, Journal of Development Economics 74, 2004). Vales en Colombia: Angrist, Bettinger, Bloom, King y Kremer, American Economic Review 92(5), 2002, cifras del resumen de J-PAL (15 puntos porcentuales más de asistencia a escuela privada, cerca de 10 puntos más de haber terminado 8.º grado, cerca de 0.2 desviaciones estándar en pruebas). Edición en español de Angrist y Pischke: catálogo de Open Library (Antoni Bosch, 2022). Cada número que muestra un interactivo se calculó en node con el código de esta página: la mejor recta es 47.0 + 3.53 × horas; el sesgo por variable omitida con fuerza 1.2 es 8 × 1.2 ÷ (1.2² + 4) = 1.76 en teoría (1.67 en esta muestra); 1 − 0.9520 = 64.2%. Todos los conjuntos de datos son inventados.